Qwen-Image-Edit GGUFモデル比較
モデル
https://huggingface.co/QuantStack/Qwen-Image-Edit-GGUF/tree/mainQuantStack/Qwen-Image-Edit-GGUF
Q2_K
Q3_K_S / Q3_K_M
Q4_0 / Q4_1 / Q4_K_S / Q4_K_M
Q5_0 / Q5_1 / Q5_K_S / Q5_K_M
Q6_K
Q8_0
(fp8) https://huggingface.co/Comfy-Org/Qwen-Image-Edit_ComfyUI/blob/main/split_files/diffusion_models/qwen_image_edit_fp8_e4m3fn.safetensorsqwen_image_edit_fp8_e4m3fn.safetensors
https://huggingface.co/unsloth/Qwen2.5-VL-7B-Instruct-GGUF/tree/mainQwen2.5-VL-7B-Instruct-GGUF
https://huggingface.co/QuantStack/Qwen-Image-Edit-GGUF/blob/main/mmproj/Qwen2.5-VL-7B-Instruct-mmproj-BF16.ggufQwen2.5-VL-7B-Instruct-mmproj-BF16.gguf
https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/tree/main/split_files/vaeqwen_image_vae.safetensors
code:models
📂ComfyUI/
└── 📂models/
├── 📂text_encoders/
│ ├── Qwen2.5-VL-7B-Instruct-.gguf
│ └── Qwen2.5-VL-7B-Instruct-mmproj-BF16.gguf
├── 📂unet/
│ └── Qwen_Image_Edit.gguf
└── 📂vae/
└── qwen_image_vae.safetensors
workflow
https://gyazo.com/52e4bfa7f95b1eeb032c1b24909b973a
Qwen_Image_Edit_gguf.json
🟨全部終わったあとにQwen2.5-VL-7BがQ4_K_Sになってたのに気づいて、Q4_K_Mに変えてやってみましたが、結果はほぼ全く同じでしたnomadoor.icon
テキストエンコーダーの方の影響は少ないみたい…良かった(；´Д｀)
Comparison
Input
https://gyazo.com/4f1c55a7e8e4af418c62a0a9acf60cb0
prompt
$ Remove the man and realistically reconstruct the background, including the white car and the asphalt road.
output
Q2_K
https://gyazo.com/3caffc290e9871e58c2883eb0f655259
Q3_K_S / Q3_K_M
https://gyazo.com/b679605fdd40645a98e14fddfe5097b7https://gyazo.com/5fdf6668e744d9e71081a064bab93c4f
Q3以下はサムネイルでもわかる程度に元の人物が残る。(偽心霊写真を作るには逆に使えるかもしれないが…)who.icon
Q4_0 / Q4_1 / Q4_K_S / Q4_K_M
https://gyazo.com/c8f735252fa58884896ce2d7d83472efhttps://gyazo.com/8a2fb39d236cd9eb3fabfd2c69ec9605https://gyazo.com/aabc56b38ede6df9b97a13f3271ad5e9https://gyazo.com/90476fd44fd9be1e659d52ce28475eec
Q4_0までは明確に消した人物がおばけのように残ってしまう…Q4_1以降で肌の色は消失するがまだ透明人間のようなシルエットが残る。
Q4_K_M辺りでは人物のおばけのような残りが完全に消えるが、地面などに明らかに加工したような塗りつぶしが残るようだ(ただし縮小サムネイルなどでは区別困難)
Q5_0 / Q5_1 / Q5_K_S / Q5_K_M
https://gyazo.com/e76a5d5080053cea88647c3a756a544ahttps://gyazo.com/6bb93c8fb52629ae40942568821f47a6https://gyazo.com/4f2dfe21bbe98a1dd3bdee1c5d55e880https://gyazo.com/d5b522a2d996219753f88ca3c2fed2b1
Q6_K
https://gyazo.com/110ab42f2da77d6c53a873bbd6b7c427
Q8_0
https://gyazo.com/1e9b9b54183a17ecb839e207c5e459ec
fp8
https://gyazo.com/845a73822e141f17bc042451c7f3bdbe
Input
https://gyazo.com/813979277bab0fab2ba03aa2c34d94ec
prompt
$ Keep the original tabby cat's features, expression, and pose. Dress the cat in a red Santa suit with white fur trim and a matching Santa hat. Change the background to a snowy landscape with pine trees and gently falling snow.
output
Q2_K
https://gyazo.com/d7d2b280aec9207f054de780fab29f52
画像の加工精度以前にちょっと画質がひどい圧縮率のJPEGみたいになっている…
Q3_K_S / Q3_K_M
https://gyazo.com/ff45101d10de1637ce8f7a855c9a194ehttps://gyazo.com/585ff45fd156f160672e8212ea6dca2d
細部の違いはあるものの、Q3あたりから実用的な感じ。
Q4_0 / Q4_1 / Q4_K_S / Q4_K_M
https://gyazo.com/2bdae847bd1a37f07daadcb245f8061chttps://gyazo.com/5cced1c4be5aab64a4e3d67a093475a4https://gyazo.com/5479a50084a8c925f4bca6813390125ahttps://gyazo.com/c1809a301c223f032c18dca1eb6464b4
Q5_0 / Q5_1 / Q5_K_S / Q5_K_M
https://gyazo.com/dd9b5a48bb46b60fcb6c09e2efb8f4fdhttps://gyazo.com/96d39b3f320cc7bc04ac872a0f3b29c3https://gyazo.com/db0e3e252f74469747d43a68971763b1https://gyazo.com/8f7578e44d08471c1e2ebb03e4f79c87
Q6_K
https://gyazo.com/97d77d3a7e02a9a7c05e05efe54545d9
Q8_0
https://gyazo.com/ce3e12542ee3b955d8390de5aa78f30c
fp8
https://gyazo.com/b5a517fa4c3c2ce0755be0cca55a11ed
Input
https://gyazo.com/ecda4c24c7158e469f842e2c8ed06810
prompt
$ Replace "OPEN" to "ComfyUI".
output
Q2_K
https://gyazo.com/af1671a326c1dce765a97fdfd4ed9036
Q3_K_S / Q3_K_M
https://gyazo.com/99c3fbb892e6a8778ff3015a40156b43https://gyazo.com/64f70efbd7d05551d1eedd01dadbdaac
このタスクではQ3もかなり健闘しており要件はきっちり満たしている(若干看板が綺麗になりすぎているが…)morisoba65536.icon
Q4_0 / Q4_1 / Q4_K_S / Q4_K_M
https://gyazo.com/dc5d83457d12d2d6346f8fbd454a33e0https://gyazo.com/d222ad84675f674467fd79e78c0c71edhttps://gyazo.com/f87ba9a44c866021bf06662cb0f3b7cbhttps://gyazo.com/4eea968e32e6343e7b20d25bbd50327a
看板の綺麗さの再現、という点では精度が上がるほど正確になるが、今回のサンプル的には文字が適度にかすれてるQ4_K_S以下のほうが逆に再現率高い感もあるかもしれない
Q5_0 / Q5_1 / Q5_K_S / Q5_K_M
https://gyazo.com/5a68531b62333cede4e59863d0faa047https://gyazo.com/b0296780c1184f864ef42399c309d6a3https://gyazo.com/5b431671508abde7ef56212a7ce8781dhttps://gyazo.com/c1d5faab642ea2cf47cbc45146c3df9d
Q6_K
https://gyazo.com/783e4aa023cb7ab0529fd7cc8f65e048
Q8_0
https://gyazo.com/8fee181cf9fe551cc69c90dfc34c0682
fp8
https://gyazo.com/3e7efb344e6299ee23df3efacc2470fc
余談
RTX4070tiでの推論速度
Q2_K : 10.9s/it
Q3_K_S : 13.4s/it / Q3_K_M 11.8 ~ 13.5s/it
Q4_0 : 9.6s/it/ Q4_1 : 9,8 ~ 10.2s/it / Q4_K_S : 10.7s/it / Q4_K_M : 13.72s/it
Q5_0 : 13,0 ~ 13.6s/it / Q5_1 : 13.7s/it / Q5_K_S : 12.0s/it / Q5_K_M: 12.0 ~ 12.3s/it
Q6_K : 12.2 ~ 12.6 s/it
Q8_0 : 11.1s/it
見た感じタスクによって量子化の劣化具合はかなり違う感じ？(精度の低下の)悪影響が出やすいものとでづらいものがあるのだろうかmorisoba65536.icon
Q4_K_Mを境に一気に劣化するけど、逆にこれ以上は品質変わらないので、Q4_K_Mを使っておけばよさそうnomadoor.icon
人物消去以外は比較的Q3でも悪くない結果なのでローカルで使える編集ツールがほしいって時には割といい選択肢になるかもしれないmorisoba65536.icon
あとはswapなどのオフロード無しで(TE→DiTのモデルのオフロードは結局必要だが…)fp8を動かせるVRAM24GB帯のグラボが噂通り増えるならそれらのグラボではfp8を選ぶのも良いかもしれない(RTX40XX以降ではFP8はハードウェアで高速処理されるのでかなり早かなります、ただしオフロードがある(VRAM24GB以外)とそれがボトルネックになるのであまり早さを感じられないかも知れない)